939. Орлов А.И. Рецензия первая. Теория принятия решений, экспертные оценки и технический уровень сложных технических систем // Семенов С.С. Оценка качества и технического уровня сложных систем: Практика применения метода экспертных оценок. - М.: ЛЕНАНД, 2015. - С.18 - 24.

Теория принятия решений, экспертные оценки и технический уровень сложных технических систем
Книга С.С. Семенова содержит массу полезной информации, интересна с различных точек зрения. Одни читатели обратят внимание на тщательный разбор формирования оценочных показателей разнообразных сложных технических систем - летательных аппаратов, судов, танков, управляемых авиационных бомб, радиотехнических систем, стрелкового оружия, металлорежущих станков и т.д. - не будем повторять содержание книги. Для других читателей основное - интеллектуальные инструменты, которые применяет автор для определения технического уровня сложных технических систем. Совокупность этих интеллектуальных инструментов автор кратко обозначает "метод экспертных оценок". Этот метод заслуживает подробного рассмотрения. Обсудим его место в науке и практике. Поскольку рецензент много писал на рассматриваемые темы, то в сносках приводим ссылки на более подробные публикации.
Подготовка и принятие управленческих решений сопровождает все этапы жизненного цикла сложных технических систем. В рамках современного направления организационно-экономической науки под названием "менеджмент высоких технологий" [1] разработаны математические модели и методы проектирования и управления производством и эксплуатацией сложных технических систем, оценки их эффективности и устойчивости к внешним воздействиям. Менеджмент высоких технологий применяется для организации и управления наукоемкими производствами, прежде всего при выпуске специальной техники (вооружений и военной техники).
Сердцевина менеджмента высоких технологий - теория принятия решений [2, 3] позволяет с единой точки зрения рассмотреть процессы подготовки, принятия и реализации управленческих решений в различных областях деятельности. В ее рамках разработаны различные оптимизационные, статистические, экспертные методы. К оптимизационным относятся, например, методы математического программирования (линейного, целочисленного и др.). Статистические методы - это методы современной прикладной математической статистики [4], другими словами, методы анализа данных. Данные - элементы выборок - могут иметь различную природу. Это могут быть числа, вектора, функции, объекты нечисловой природы. Первые три типа данных (числа, вектора, функции) являются элементами линейных пространств, их можно складывать и умножать на числа. С объектами нечисловой природы (значениями качественных признаков, упорядочениями и другими видами бинарных отношений, графами, обычными и нечеткими множествами и т.д.) так поступать нельзя. Математический аппарат анализа нечисловых данных основан на использовании метрик (показателей различия) и решений оптимизационных задач, а не сумм чисел, векторов, функций, как в классических областях прикладной математической статистики. В конце 1970-х годов выделена самостоятельная область - статистика объектов нечисловой природы, известная также как статистика нечисловых данных или, короче, нечисловая статистика [5].
В последние годы получил распространение термин "Организационно-экономическое моделирование". Именно так называется годовой учебный курс, который рецензент читает в Московском государственном техническом университете им. Н.Э. Баумана для студентов факультета "Инженерный бизнес и менеджмент", выпускающего специалистов по менеджменту высоких технологий. Организационно-экономическое моделирование - это научная, практическая и учебная дисциплина, посвященная разработке, изучению и применению математических и статистических методов и моделей в экономике и управлении народным хозяйством, прежде всего промышленными предприятиями и их объединениями. Основное содержание организационно-экономического моделирования - статистические методы анализа данных [6], теория и практика экспертных оценок [7] как неотъемлемые составные части теории принятия решений. В этих двух областях различны источники данных, а потому и методы их сбора (получения). Статистические методы анализа данных обычно связывают с обработкой результатов измерений, наблюдений, испытаний, анализов, опытов. Экспертные оценки - это мнения высококвалифицированных специалистов. Однако нет оснований разделять математические методы анализа статистических и экспертных данных. Нечисловая статистика была разработана нами как ответ на запросы теории и практики экспертных оценок. 
Экспертное оценивание часто является незаменимым инструментом, позволяющим разрабатывать обоснованные управленческие решения при отсутствии достаточного объема результатов наблюдений. Например, при разработке АСППАП - автоматизированной системы прогнозирования и предотвращения авиационных происшествий (выполняется совместно Группой компаний "Волга-Днепр" и Ульяновским государственным университетом, рецензент - главный научный консультант в этом проекте) возникла необходимость применения экспертных оценок при решении многих конкретных задач. В 2011-2012 гг. проведено несколько сот экспертиз. В частности, экспертами оценивались передаточные параметры для дерева событий при развитии авиационного события (происшествия) а основе логико-вероятностной модели (представляющие собой в первом приближении условные вероятности) в условиях почти полного отсутствия статистических данных. Отсутствие данных связано с несколькими причинами. Во-первых, для сбора части данных требовались большие человеческие и временные затраты, и к моменту проведения экспертного опроса они не были готовы. Во-вторых, часть данных для оценки условных вероятностей невозможно получить в принципе, поскольку промежуточные события из дерева событий, не приведшие к авиационному происшествию, часто никак и нигде не анализируются, не записываются и не сохраняются. Здесь можно привести простую аналогию: затруднительно статистически оценить, с какой вероятностью превышение скорости приведет к автомобильной аварии, поскольку большинство превышений скорости не приводят к авариям и остаются вне поля зрения исследователей.
Большинство алгоритмов сбора и анализа экспертных оценок в проекте АСППАП основано на предположении, что экспертные оценки измерены в порядковых шкалах, поскольку экспертам (летному составу) легче сказать, какое событие встречается чаще, а какое реже, чем оценить число осуществлений событий на 1000 полетов. Оценивать вероятности событий эксперты почти не берутся, в то время как задачи сравнения событий по частоте встречаемости или оценки их по встречаемости условными баллами не вызывают сложностей. Этот факт, обнаруженный при работе с летным составом Группы компаний "Волга-Днепр", соответствует теории экспертных оценок.
Как правило, экспертные оценки используются в тех случаях, когда статистические данные недостаточны, отсутствуют или в настоящее время недоступны. По мере проведения дополнительных исследований по сбору и анализу данных результаты экспертных процедур будут заменяться объективными данными. Однако при разработке АСППАП нередко встречаются ситуации, когда за все время наблюдений определенное событие не произошло вообще, произошло 1, 2 или небольшое число раз. В таких ситуациях статистические методы дают весьма широкие доверительные границы для вероятности события, в то время как экспертные технологии позволяют получить достаточно точные оценки. 
В нашей стране основные результаты в области теории экспертных оценок получены научным коллективом, сплотившемся вокруг действующего с 1973 г. научного семинара с символичным названием "Экспертные оценки и анализ данных" [8]. Отметим связь ряда экспертных технологий с методами активизации научно-технического творчества [9].
В книге С.С. Семенова подробно рассмотрена роль экспертов при проведении оценки технического уровня сложных технических систем. Описана процедура проведения экспертной оценки и согласования оценок экспертов при проведении сравнительного анализа. Надо отметить, что ряд вопросов статистического анализа экспертных данных, как и данных иного происхождения, требует дальнейшего развития. 
Хорошо известно, что распределения почти всех видов реальных данных не являются нормальными и не входят в какие-либо иные параметрические семейства распределений. Современная парадигма прикладной статистики основана на непараметрических и нечисловых моделях [10]. Однако продолжают кочевать из учебника в учебник, из одной методики в другую методы начала ХХ в., основанные на нереалистическом предположении нормальности. Иногда это предположение приводит к серьезным ошибкам, например, при отбраковке резко выделяющихся элементов выборки (выбросов). Иногда ошибки имеют другую природу. Так, двухвыборочный критерий Стьюдента нельзя применять для проверки однородности двух независимых выборок не потому, что он предполагает нормальность распределений элементов выборок (влияние отклонений от нормальности сглаживается с ростом объемов выборок), а по другой причине - этот критерий исходит из равенства дисперсий элементов двух выборок, а это выполняется весьма редко.
Методы проверки согласованности ответов экспертов требуют дальнейшего развития. Поскольку число экспертов обычно не превышает 20 - 30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации (т.е. - в переводе на русский язык - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно теории математической статистики положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по дурной традиции толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нашу научную группу к разработке нового математико-статистического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в нечисловую статистику). Группы экспертов с близкими взглядами можно выделить методами кластер-анализа.
В книге С.С. Семенова подробно рассмотрены методы формирования оценочных показателей и на их основе - оценок качества и технического уровня сложных технических систем. Необходимо использовать иерархическую систему показателей - единичные, групповые, обобщенные, интегральные. Как для оценивания многих единичных оценочных показателей, так и для их агрегирования (объединения) в показатели, стоящие выше в иерархической системе, необходимо применение процедур экспертного оценивания. При проведении процедур агрегирования итогом экспертного оценивания являются коэффициенты весомости (важности, значимости). Отметим, что и в этой области необходимы дальнейшие исследования. Так, недавно установлена некорректность метода анализа иерархий [11]. 
Новизна подхода С.С. Семенова состоит, во-первых, в разработке методов проведения оценки технического уровня сложных технических систем на основе современной теории принятия решений с широким применением экспертных технологий, во-вторых, в применении этих методов для решения многочисленных весьма важных прикладных задач.
Большую ценность представляет проведенный С.С. Семеновым анализ технического уровня многочисленных конкретных сложных технических систем. Анализ эффективности применения таких систем обычно проводят на основе трехфакторной модели "Человек-Машина-Среда". В книге С.С. Семенова рассмотрен фактор "Машина", который можно оценить техническим уровнем. Влиянию на эффективность применения сложной технической системы личностных свойств и подготовленности персонала, работающего с этой системой, и окружающей среды (часто противоборствующей), в которой действует система, должны быть посвящены самостоятельные исследования.
Высокий научный уровень работы С.С. Семенова объясняется как квалифицированным применением современных организационно-экономических и экономико-математических методов, так и огромным опытом решения конкретных прикладных задач, связанных с оценкой технического уровня разнообразных сложных технических систем. Нельзя не согласиться с тем, что следование в форматере чужих разработок чревато еще большим отставанием [12] в создании сложных технических систем, необходимых для обеспечения независимости территориальной целостности нашей страны. Для обеспечения технологического рывка, обгона геополитических соперников путем применения принципиально новых подходов необходимы соответствующие интеллектуальные инструменты, выполненные на современном научном уровне. Их разработке и широкой апробации посвящена работа С.С. Семенова, развивающая и продолжающая его предыдущие публикации, в частности, книгу "Оценка технического уровня образцов вооружения и военной техники" [13]. Опыт научного признания новых методических подходов к оценке технического уровня образцов вооружения и военной техники на примере управляемых авиационных бомб подробно рассмотрен в составленном С.С. Семеновым сборнике [14].
Новая книга С.С. Семенова будет интересна широкому кругу специалистов, связанных с задачами оценки технического уровня на основе экспертных и аналитических методов принятия решений, в том числе оценки и выбора альтернатив, занимающихся прикладными научными исследованиями в области разработки военной техники, а также в гражданских высокотехнологичных отраслях, выпускающих наукоемкую продукцию, в частности, в космической и атомной промышленности, авиастроении, судостроении и др. Книга является фундаментальной, но при этом изложение новых теоретических и прикладных идей в ней доступно широким массам читателей. Ее будут использовать преподаватели, аспиранты и студенты многочисленных высших учебных заведений, а также специалисты, повышающие квалификацию самостоятельно или в соответствующих образовательных структурах, соискатели научных степеней в рассматриваемых областях. 
Книга С.С. Семенова - важный вклад в разработку и применение методов оценки технического уровня сложных технических систем на основе использования экспертных технологий, вклад как в теорию, так и прежде всего в практику. С удовольствием рекомендую ее читателю.
Литература
1. См., например: Колобов А.А., Омельченко И.Н., Орлов А.И. Менеджмент высоких технологий. Интегрированные производственно-корпоративные структуры: организация, экономика, управление, проектирование, эффективность, устойчивость. - М.: Издательство "Экзамен", 2008. - 621 с.
2. См., например: Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. - 576 с.
3. Орлов А.И. Организационно-экономическое моделирование: теория принятия решений. - М. : КноРус, 2011. - 568 с.
4. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
5. Орлов А.И. Организационно-экономическое моделирование. Ч. 1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. - 541 с.
6. Орлов А.И. Организационно-экономическое моделирование. Ч.3. Статистические методы анализа данных. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. - 624 с.
7. Орлов А.И. Организационно-экономическое моделирование. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.
8. Орлов А.И. О развитии экспертных технологий в нашей стране. - Журнал "Заводская лаборатория. Диагностика материалов". 2010. Т.76. No.11. С.64-70.
9. Сидельников Ю.В. Модификация метода фокальных объектов: новые возможности в творчестве. - Журнал "Заводская лаборатория. Диагностика материалов". Т.78. 2012. No.1. С.93-101.
10. Орлов А.И. Новая парадигма прикладной статистики. - Журнал "Заводская лаборатория. Диагностика материалов". 2012. Том 78. No.1, часть I. С.87-93.
11. Подиновский В.В., Подиновская О.В. О некорректности метода анализа иерархий. - Журнал "Проблемы управления". 2011. No. 1. С.8-13.
12. См. статью С. Семенова и Л. Балахонова "Следование в фарватере чужих разработок" в "Военно-промышленном курьере" No.24(441) за 20-26 июня 2012 г. и No.25(442) за 27 июня - 3 июля 2012 г.
13. Семенов С.С., Харчев В.Н., Иоффин А.И. Оценка технического уровня образцов вооружения и военной техники. - М.: Радио и связь, 2004. - 552 с.
14. Научно-технический сборник "Боеприпасы" No. 5-6 за 2007 год.

Профессор МГТУ им. Н.Э.Баумана и МФТИ, директор Института высоких статистических технологий и эконометрики, советник президента Группы компаний "Волга-Днепр", профессор, доктор технических наук, доктор экономических наук
А.И. Орлов
2012-09-30, г. Москва